Lớn lên Rumsfeld nhập học trường trung học Baker Demonstration, và sau đó tốt nghiệp tại New Trier High School. Rumsfeld học tập tại trường Đại học Princeton và được học bổng NROTC(A.B., 1954), tại đây Rumsfeld đã quen biết bộ trưởng quốc phòng tương lai Frank Carlucci. Anh dự kiến lấy chứng chỉ luật năm 1956 và tham dự trường Luật tại Đại học Georgetown University Law Center nhưng không tốt nghiệp.

Rumsfeld phục vụ trong lực lượng hải quân vào thời bình từ năm 1954 đến năm 1957 với vị trí hoa tiêu và hướng dẫn bay đồng thời tham gia khóa huấn luyện Bắc Mỹ SNJ Texan để lái máy bay Grumman F9F Panther. In 1957, anh chuyển sang lực lượng dự bị hải quân. Ngày ngày 1 tháng 7 năm 1958, anh được chuyển đến Trung đoàn chống tàu ngầm 662 tại căn cứ không quân Anacostia của hải quân, quận Columbia. Sau đó Rumsfeld được bổ nhiệm chỉ huy không quân tại căn cứ chống tàu ngầm 731 vào ngày 1 tháng 10 năm 1960, tại sân bay Grosse Ile, Michigan. Ông được bổ nhiệm làm Bộ trưởng Quốc phòng năm 1975 và hồi hưu năm 1989 ở cấp bậc captain.